deploy: Ensure that any modified config files are fsync()d

It really wouldn't do for one to be missing one's ssh keys for
example...

checkout: fsync() directory on checkouts

We want to be really sure that our deployment roots have hit the disk.

deploy: Ensure that all directories we create are fsync()d

There's two halves to this; first, when we create an hierarchy, we
need to call fsync().  Second, we need to fsync again anytime after
we've modified a directory.

libotutil: Add API to create directory hierarchy recursively *and* fsync

To be really sure that any directory entries have hit disk we need to
call fsync() on the directory fd.  This API allows us to conveniently
create a directory hierarchy, fsyncing all of it along the way.

pull: Display download progress of individual objects as we get it

It was kind of annoying at least for rpm-ostree upgrades since /boot
happens to be first and we eat a 21MB initramfs with no download
progress.

https://bugzilla.gnome.org/show_bug.cgi?id=726348

libotutil: Fix mistaken return of TRUE in error path

Gah, must have been a refactoring bug.

Use external libgsystem 2014.2

It's been split off for a while, let's kill the code duplication.

Among other things, this fixes the systemd detection for the journal
logging.

switch: Always allow chronological downgrades

Ideally we'd have something a bit more strict, but...without
downloading the parentage, this is all we can do at the moment.

deploy: Call fsync() on parent directory before/after symlink swap

Let's be conservative here and try hard to ensure the symlink has the
correct content on disk.

bootloader: fdatasync() bootloader configuration

Let's be a bit more conservative here and actually fdatasync() the
configurations we're generating.

I'm seeing an issue at the moment where syslinux isn't finding the
config sometimes, and while I don't think this is the issue, let's try
it.

bootloaders: Always write out bootloader config file

There was an attempted optimization to only write if changed, but this
is broken - we always write the bootloader config into a new
directory.

In theory we should only be writing if it changed, but let's not do a
broken optimization.

deploy: Add a debug message for which bootloader is used

Debugging something...

deploy: Add an assertion that deployment directory exists

I may be seeing something going wrong in rpm-ostree, just adding this
assertion for my own sanity.

tool: End status line after pull

Otherwise we potentially get overlapped output.

fetcher: Honor http_proxy environment variable

https://bugzilla.gnome.org/show_bug.cgi?id=706809

checkout: Always do chmod even in _MODE_USER

The previous commit here changed things so that we do mkdir(x, 0700),
then fchmod later only if we created the directory.

However the logic was incorrect; we still need to chmod even in
MODE_USER if we created the directory.

tools: Fix unintialized variables

upgrade: Support --allow-downgrade again

This was unintentially dropped with the OstreeSysrootUpgrader rebase.

sysroot-upgrader: Check merge deployment, not ref for differences

Otherwise this broke atomicity; we could fetch/store the ref, then
crash, and then not upgrade the next time we tried upgrading.

The correct model is: the tree has changed if the new ref is different
from the merge deployment.

ostree(1): Document GPG verification, link to ostree.repo(5)

doc: Add ostree.repo and ostree.repo-config manual pages

In particular I wanted to document gpg-verify.

sysroot: Be more conservative with bootlink optimization

Trying to implement "rpm-ostree rollback", in the case where we have 2
deployments with the same bootconfig that we're reordering, we need to
write bootconfig, not just swap the bootlinks.

tool: End status line in switch/upgrade too

libostree/upgrader: Don't pull if there is no remote

In this case we're just reading the local repo.

libostree/upgrader: Add an API to retrieve an origin description

This will be used by "rpm-ostree upgrade".

libostree/upgrader: Throw an error if osname is empty

This shouldn't happen; I'm just adding the check to force a rebuild.

Add an OstreeSysrootUpgrader API

This moves some utility code from the ostree tool into the shared
library, which will make it easier to consume by external tools.

Move basic commit API into ostree_sysroot_simple_write_deployment()

The admin commands had this shared in tool common, but we want to
encourage external programs to do this as well.

Add missing admin commands in the man pages

improve consistency with others admin commands

Fix typo in man page ( envrionment => environment )

Release 2014.3

pull: Don't print, just use progress callback

More work on removing g_print() from the library.

pull: End status line on error as well

This way we don't append the error to the current line.

core: Add "admin instutil set-kargs"

This will be used by Anaconda as a convenience command to set the
bootloader arguments.

libostree: Add ostree_sysroot_deployment_set_kargs()

It turns out people sometimes want to be able to change the kernel
arguments.  Add a convenient API to do so for the current deployment.

This will be used by Anaconda.

libostree: Fix ostree_deployment_clone() to also clone bootconfig

This way one can easily mutate it for a new deployment list.

libostree: Add ostree_bootconfig_parser_clone()

This will be necessary to fix ostree_deployment_clone(), but is
potentially useful on its own for other consumers.

Add "ostree admin instutil", move selinux-ensure-labeled there

There are going to be a few utilities that are only useful for
installers and disk image creation tools.  Let's not expose them all
at the toplevel; instead, hide them under "instutil".

test-sysroot: Use GSystem to spawn subprocess

I was getting a weird hang in the installed tests with the shell as a
zombie process, not reaped by the parent, which was just stuck in
select() on the output pipes.  The thing is we don't actually want to
capture stdout/stderr, we just want to inherit.

GSystem.Subprocess makes that possible, so let's just use it now that
it's a proper installed library.

Revert "Disable test-sysroot.test"

This reverts commit 73868a96d14fa13e69d9df778d2363b89f41fef5.

Disable test-sysroot.test

It hangs on test-sysroot.js:40 during GLib.spawn_command_line_sync - it seems it can't
handle sh -c and the inner process becomes a zombie

TODO: update

Remove custom SELinux policy

This was a temporary hack until the requisite bits landed upstream in
the Fedora SELinux policy.

libostree: Fix crash if output is not a tty

This was a recent regression.

libostree: Add API to append a GPG signature

This will be used by rpm-ostree which needs to use an external program
to sign commits.

libostree: Add a better error if we fail to read keyring directory

I had accidentally put it in the -devel package and not noticed.

admin: selinux-ensure-labeled: new builtin

Code like rpm-ostree generates disk images directly.  In order to
ensure SELinux labeling is correct, it currently has a helper program
that runs over the deployment root, then over the whole disk and to
only set a label if none exist.

In order to make it easier to write installers such as Anaconda
without having them depend on rpm-ostree (or whatever other
build-server side program), pull in the helper code here.

deploy: Less usage of g_print

No need to spam the console here.

libostree: Remove g_print() from bootloader code

No need to be so chatty.

pull: Drop some g_print(), replace others with async progress

We shouldn't g_print() from a library, particularly when the
expectation is that the client has an async progress set up.

This should fix the pull output extending the status line.

pull: Ensure temporary data that appears corrupted is deleted

If a MITM attacker (or just network corruption) causes a temporary
downloaded object in tmp/ to be corrupted, we'll end up
continually trying to commit it, and fail.

Fix this unlinking the temp file immediately after opening it.  This
will ensure that if we exit due to an error (or crash), the kernel
will clean up the space for us.

https://bugzilla.gnome.org/show_bug.cgi?id=725924

packaging: Update internal spec file

build: Add --enable-selinux-custom-policy

Don't use this.

It's just for me, and only temporarily until this stuff all lands in
the Fedora (and ideally upstream) selinux-policy.

Release 2014.2

Add /run/ostree-booted

The idea with this is that things like yum should be able to look for
it and determine whether or not they should assume that they can
change things on the system.

https://bugzilla.gnome.org/show_bug.cgi?id=725380

upgrade/switch: Fix status line being overwritten with pull progress

checkout: Use fd-relative open of newly created directory

We were walking the full path again on our directories, no need to do
that.

checkout: Only fchown/fchmod directories after we're done populating them

See https://mail.gnome.org/archives/ostree-list/2014-February/msg00020.html

Update libgsystem, use it to set dirfd-relative xattrs on symlinks

This is a bit more efficient in that we're not walking full paths, and
it helps avoid security/reliability issues if an attacker (or just a
misbehaving process) has the ability to mutate paths in the middle.

upgrade: Properly set origin_refspec variable for resolve/printing

1) We were ignoring the remote, which is broken
2) We were printing NULL later on

switch: Don't check whether revision matches

It's quite possible that say "buildmaster" and "smoketested" are the
same revision - but we should allow switching between them.

pull: Remove explicit threading

Mixing async and threads has proved to be too much for my little mind.
It has race conditions that I've tried repeatedly to fix, but failed.

The threading here was scanning metadata objects - and there are
two parts to that:

1) Physically loading them from disk
2) Parsing them

Now #1 has been partially addressed by avoiding a storm of lstat() if
we're starting from a known working state.  If pull gets interrupted,
then we do need to rescan all objects.  Also, we can address this with
local metadata packfiles.

The other potentially slow bit is that we recurse across the metadata,
blocking the main thread.  We could ameliorate that in the future by
scheduling metadata parsing as idle "chunks".

Anyways, let's move the needle back to reliability, and readd speed
more carefully.

https://bugzilla.gnome.org/show_bug.cgi?id=706456

upgrade: Refuse chronologically older commits unless --allow-downgrade

We don't want to allow MITM attackers to intercept upgrade requests
and provide clients with older OS versions vulnerable to security
flaws.

Only "ostree admin upgrade" gets this behavior for now - whether we
want to do it for "ostree admin switch" is another question.

repo: Fix crash without SELinux policy enabled during commit

build: Fix build without SELinux

libostree: Split off SELinux OstreeSePolicy class

It's better if this is independent from the OstreeSysroot; for
example, a policy is active in a given deployment root at once, not
for a sysroot globally.

We can also collect SELinux-related API in one place.

Unfortunately at the moment there can be only one instance of this
class per process.

Add internal SELinux policy overrides

In the future, this will likely include an ostree_t domain.  For now,
this is just a few additional allow rules.

manual-tests: New directory with custom test scripts

This is just a demo script.

fetcher: set timeouts on HTTP connections

We're seeing some hangs while ostree is fetching updates.
I imagine the fact that SoupSessionAsync has no timeout by default
could be the cause of this.

Set timeout values to 60 seconds, which is the default for the new
SoupSession API which we may switch to later.

https://bugzilla.gnome.org/show_bug.cgi?id=724310

build: make "sudo make install" over existing install work

os-init: also create a symlink for /var/lock

After creating one for /var/run. This is needed at least on Debian
systems.

deploy: Remove now-unimplemented --no-bootloader argument

boot/ostree-remount.service: run before tmpfiles.d

tmpfiles.d configurations generally require write access to some places
that are read-only until ostree-remount runs.

Make sure ostree-remount has run first.

Thanks to Cosimo Cecchi for finding and diagnosing this problem.

https://bugzilla.gnome.org/show_bug.cgi?id=724183

repo: Split generic GPG commit verification out into helper

This will be used for a future commit which GPG verifies static
deltas.

deltas: Add a timestamp to delta metadata

pull: Remove a duplicate hash table

Not sure why we had two...perhaps the code originally had them
separate.

tests: Fix up GPG tests for more strict EL7 GPG

These GPG tests were failing for me on EL7 - it appears to be because
we had only one directory for both private and public keys, and we
were giving that to ostree for verification, which passed them onto
gpgv.

In EL7 beta at least, gpgv now barfs if it finds a private key where
it is just expecting to find public keys.

Fix this by splitting out the public trusted directory from the
private key directory.  Except now for signing, we still need the
public key there, so symlink it.  Whee!

repo: Don't set GPG engine executable path

The instructions one finds on the internets are apparently wrong, we
really need to keep the default here, since gpgme uses it to actually
find the helper binary it runs.

This fixes the GPG tests for me on EL7 at least.

Drop refs/summary

I'm not aware of anyone using this, and it's not efficient to write a
whole file every time a ref changes, plus it's not atomic.

sysroot: Add a log with MESSAGE_ID when deployment is complete

pull: Don't crash if the URL is not found

Initial basic static delta code drop

This has a very basic level of functionality (deltas can be generated,
and applied offline).  There is only some stubbed out pull code to
fetch them via HTTP.

But, better to commit this now and improve it from a known starting
point, rather than have it languish in a branch.

core: Import bup's "rollsum" code, add a test case

For static deltas, one strategy that will be employed is to split each
object into chunks, and only include changed chunks in the deltas.

build: Drop SELinux required version a bit earlier

Apparently EPEL7 only has 2.1.13, but we should be fine with that.

build: Fix --without-selinux case

SELinux: Ensure we label /var, and fix /etc merge wrt xattrs

First, /var needs to be labeled at least once.  We should probably
rearrange things so that /var is only created (and labeled) on the
first deployment, but this patch adds a /var/.ostree-selabeled file
instead.

Second, when doing the /etc merge, we compare the xattrs of the old
/usr/etc versus the current /etc.  The problem with that is that the
policy has different labels for /usr/etc on disk than the real /etc.

The correct fix for this is a bit invasive - we have to take the
physical content of the old /usr/etc, but compare the labels as if
they were really in /etc.

Instead for now, just ignore changes to xattrs.  If the file
content/mode changes, then we take the new file (including any changed
xattrs).

Bottom line: just doing chcon -t blah_t /etc/foo.conf may be lost on
upgrade (for now).

libostree: Also use xattr callback for directories

They need labels too, obviously.

Add --disable-fsync option to pull-local, and API to repo

This will be used by guestmount - it's WAY faster.  We only take disks
as a unit, so it's safe.  If the process fails halfway through, we
just start over from scratch the next time anyways.

Add SELinux support

The trees as shipped come with /usr/etc, which should just be labeled
as usr_t.  When we do a deployment, we need to relabel the copies of
the files we're making in /etc.

SELinux support is compile and runtime optional.

repo: Add API to provide xattrs

This will be used by rpm-ostree to provide SELinux security contexts,
without requiring us to actually label the disk.

build: Look for /usr/bin/gpgv2 vs /usr/bin/gpgv

For some reason, RHEL has gpgv, but Fedora doesn't.  We need to detect
which to use, since presumably Debian only has gpgv.

repo: Improve GPG error messages

The signing test is failing here on EL7 beta for me - it seems like
gnupg isn't honoring the homedir.

libostree: Actually trusted.gpg.d/*.gpg for GPG verification

The intent of this code I'm fairly certain was to use *.gpg from the
trusted.gpg.d, directory.  But right now, we're only using
"pubring.gpg" from that directory, which is odd.

Let's fix this to use all keys ending in .gpg, which will also
include pubring.gpg.

build: Install README-gpg in /usr/share/ostree/trusted.gpg.d

Since this is what the current code actually reads.

ostree-prepare-root.service: Also order before plymouth-switch-root.service

In the OSTree model, /sysroot gets set up twice.  We need to ensure
that the /sysroot plymouth sees is only after OSTree has set it up.

boot/ostree-remount.service: Run before plymouth-read-write.service

The plymouth service needs a writable /var, so ensure that we run
before it does.

doc: Update manpage a bit

I know, I know, it's about time...

Release 2014.1

pull: Be less chatty with G_MESSAGES_DEBUG=all

Only note state *transitions*, don't spam on simple checks.